基于层级树索引器的次二次方注意力机制
🧭 层级树索引稀疏注意力加速长上下文
Zyphra Research
提出层级树结构索引器对KV cache递归压缩，使注意力总成本随序列长度亚线性增长，实现次二次方缩放
📌 工作参考价值（4 点）
- 电商长序列建模：用户历史行为、商品序列、会话记录可视为 KV cache，借鉴层级树压缩摘要，在推理时自上而下检索相关 token，实现长上下文稀疏注意力，降低 inference cost。
- 轻量适配存量基座模型：仅需数亿 token 的 KL 蒸馏，业务侧可为已有 LLM 加装该索引器，无需重新预训练。
- 树深度稳健：即使 6 层深树也不显著掉点，工程上可自由调整索引层级，在精度与延迟间取平衡。
- Agent 场景收益：长上下文 agentic coding 性能不降，适合需要超长工具调用历史 / 文档上下文的电商导购 Agent 或智能客服，可直接扩展 context window 而不更换模型。
潜在稀疏注意力：面向亚二次超长上下文注意力
🧭 高效注意力 · 超长上下文
提出潜在稀疏注意力 LSA，通过可学习层次聚类实现超长上下文亚二次注意力且保持精度
📌 工作参考价值（4 点）
- 长上下文 Agent 会话/记忆管理可借鉴：电商导购、客服等 Agent 维护超长多轮历史时，用 learned latent space 对 keys 做层次聚类，query 只打分聚类中心，大幅降低 decode 阶段的 KV cache 访问与计算，适合在线低延迟场景。
- 已有预训练模型不想重训的情况下，D-LSA 蒸馏提供低成本升级路径：仅在注意力层增加分层聚类索引，用原模型蒸馏对齐，可离线验证精度损失后逐步上线。
- 若从零训练或大规模训练长上下文模型，N-LSA 原生训练同时降低训练与推理成本（128k tokens 单层训练 1.6x），对自建基础模型或微调有参考价值。
- 局限与注意：方法依赖键空间聚类稳定性，电商推荐中商品/query 分布快速变化，需评估索引重建频率与召回误差；目前验证集中于语言模型，迁移到推荐特征需要额外实验。
TokenGate：可学习 token 剪枝加速 LLM 预填充且精度不降
🧭 LLM 长上下文预填充加速 · 可学习 token 剪枝 ★ 深度解读
Stanford University · UC Berkeley
提出可插入组件 TokenGate，通过类 MoE 的 token-gated attention 端到端训练 token 剪枝，大幅加速长上下文预填充且精度不降
📌 工作参考价值（4 点）
- 在电商/Agent 场景中，长文档（商品详情、用户评论、搜索广告上下文、RAG 检索文档）的预填充是延迟和内存瓶颈；可借鉴 TokenGate 在模型中间层引入可学习 token 剪枝，相比 FastKV 等启发式方法，端到端训练能显著提升速度且精度无损，且可与 LoRA 一起微调，训练开销仅约 1.3x/step，总体甚至更少。
- token-gated attention 是关键 trick：把不可微的 top-K 剪枝通过类似 MoE 的门控值乘到 attention logits 上，让 scoring network 获得梯度，同时让模型骨干自适应剪枝后的稀疏注意力；该思路可迁移到任何需要在 Transformer 中间层做软筛选的任务，如多文档 RAG 中对检索片段做软裁剪。
- 训练时使用 dual budget sampling（全量 + 对数均匀采样的剪枝预算各一半损失），使单个模型泛化到不同 token 预算，无需为每个压缩比重新训练；这对线上需要动态调整 TTFT 和内存的推荐 / Agent 系统非常实用，可以一次训练，推理时按需调整 K。
- 工程实现上，将 per-key gate bias 融合进 FlashAttention 内核、剪枝后 forward 用 CUDA graph 固定 padding、KV cache 选择性裁剪等做法可直接复用到自研推理引擎，降低集成成本。
复制粘贴语言模型
🧭 LLM 预训练 · 上下文复制机制
Cornell University
在 LM 头旁增加轻量 Copy-Paste 头显式建模上下文复制，提升训练效率与下游表现
📌 工作参考价值（4 点）
- 商品名/品牌词/SKU/Query 需要精确复现：在微调或继续预训练时，可在 LM head 旁加一个 pointer/copy 分支，从输入序列直接复制 token，降低改写错误与幻觉。
- RAG / 长上下文用户行为建模：模型常需从知识库或历史序列中复现实体，CPLM 思路可帮助提升长程复制准确率；可对现有 LLM 做轻量适配，不必重训 backbone。
- Agent 工具调用：API 名、参数、ID 等必须逐字复制，copy head 能增强此类能力；建议在工具选择评测中对比标准 LM head 与 copy 分支。
- 实际成本：增加头参数极少，推理可结合 KV cache 实现高效复制计算，适合对延迟敏感的生产环境。
Orthros：相位感知异构注意力，高效 Transformer
🧭 高效 Transformer 注意力架构 ★ 深度解读
The Hong Kong Polytechnic University · University of Chinese Academy of Sciences · Independent Researcher · University of Sydney
Orthros 注意力按预填充/解码相位解耦：线性复杂度预填充加全注意力解码，长上下文召回近无损并大幅加速推理
📌 工作参考价值（4 点）
- 对于推荐/搜索/Agent 中长 prompt、短输出的场景（如基于大段用户行为序列生成推荐理由、商品描述改写），这类相位解耦注意力可将 TTFT 降低数倍，适合在线低延迟要求；若输出很短，收益尤其明显。
- 现有 LLM（如 Qwen3、Llama3.1）可通过 80B token 级继续训练转换为 Orthros 结构，且性能不降，业务方可在已有模型上低成本验证和部署；转换时注意保留窗口大小 128 的设置。
- 双流设计（滑动窗口 + 全注意力）通过复制输出 token 实现全局召回，可复用到需要长上下文记忆的对话式推荐、个性化解释生成等任务，避免线性注意力带来的召回损失。
- 工程落地需注意：当前实现基于 FLA/SGLang，解码时额外 token 会增加 FLOPs，但在 I/O bound 解码阶段可被掩盖；若使用 MoE 或需要 KV cache 压缩，需要定制路由和缓存策略。
SparseEngine：稀疏优先的LLM推理引擎
🧭 稀疏注意力 · KV cache推理引擎 ★ 深度解读
Harbin Institute of Technology
通过统一生命周期契约支持15种稀疏注意力方法，并提供Chain Cache与可控前缀缓存剪枝，实现长上下文agent推理10倍吞吐提升
📌 工作参考价值（4 点）
- 生命周期 hook 抽象可借鉴到自研推理服务：将稀疏方法集成点解耦为 SparseController（注册回调）、CacheManager（方法特定状态存储）和 AttentionView（连接注意力后端），可以不改模型代码快速接入多种稀疏/压缩策略，适合电商 Agent 服务中灵活切换 KV 优化方案。
- Chain Cache 对多轮 Agent 场景非常实用：跨请求保留被 eviction 方法裁剪过的 KV 及元数据（如 H2O 累积分数），能避免每轮重新 prefill 完整历史，对电商客服、推荐 agent 等多轮交互可显著降低首字延迟和重复计算。
- 可控 prefix-cache pruning 允许业务方按价值管理上下文：应用可以指定历史区间（如低价值的工具输出）和保留比例，用稀疏策略（如 KVzip）选择保留位置，同时保持逻辑前缀匹配，适合在广告/推荐 agent 中清理过期或冗余的会话内容而不破坏缓存复用。
- 实验结论表明物理 KV 驱逐是吞吐提升的关键：在相同 GPU 内存下，SnapKV 物理驱逐可支撑约10倍更大 batch，带来约10倍 aggregate decode throughput；动态稀疏注意力在匹配并发下可获1.5-2.6倍 decode 吞吐提升，且质量几乎无损（LongBench 平均差异仅 +0.17 分），可作为电商长上下文 LLM 推理优化的直接依据。
三阶线性注意力：三维循环状态用于长上下文序列建模
🧭 线性注意力 · 长上下文状态扩容 ★ 深度解读
Massachusetts Institute of Technology · MIT-IBM Computing Research Lab
将线性注意力的矩阵状态扩展为三阶张量，用第二个 key 维度以极少参数成倍扩大状态容量，显著提升长上下文语言建模与 recall
📌 工作参考价值（4 点）
- 电商/推荐用户长期行为序列建模：用户行为序列长且稀疏，Transformer KV cache 显存贵；可把 user encoder 或长期兴趣提取器替换为 Triadic GDN/sGLA，用 E=4~8 扩大状态，参数只增加约 1%，线上保持 O(1) 状态，对历史兴趣 recall 提升明显。second key/query 建议用 softplus/sigmoid 非负激活，避免切片间抵消。
- Agent 长期记忆/长上下文工具结果：如果 Agent 用线性注意力做记忆，可在长上下文扩展阶段把 E=1 upcycle 到 E=8，不必从头训练；论文显示 upcycling 可恢复约 50%-75% 从 scratch 的收益，适合已有模型低成本升级。
- 混合架构取舍：搜推广 rerank 或 Agent 模型若采用 linear+softmax 混合，优先扩大 linear state 而不是 softmax GQA 的 KV cache；论文在 3:1 混合中，triadic E=4 比 GQA-4 在长上下文 PG19 和 NIAH 更好，且 64k 显存少约一半。
- 工程实现：chunkwise-parallel 实现中，把三阶 state 沿 value 轴切成 32 列块放到 registers，避免 SM 持有完整 state；joint key 内积分利用 Kronecker 结构降维，E 维只增加少量 C^2E 计算，长上下文效率优于 Transformer。
ANTMAN：大信息空间多智能体导航的自适应需求追踪
🧭 多智能体协作 · 需求图驱动 ★ 深度解读
University of Illinois Urbana-Champaign
用可修订的未解决需求图替代静态分区，使多智能体协调随查询需求而非信息空间规模增长
📌 工作参考价值（4 点）
- 在电商搜索/推荐中，把用户 query 或会话意图建模为可修订需求图（如类目偏好、属性约束、缺失证据、候选商品集），用该图动态调度召回、排序、解释或 Agent 调用；避免按商品池/内容池大小固定切分 worker，使计算随需求复杂度而非目录规模增长。
- 借鉴 territory + WorkerCard + 两阶段路由：将商品库/内容库/代码库等 substrate 静态划分为 scope-specialized 的 territory，先用轻量检索（稀疏+精确+稠密+RRF）召回少量 WorkerCard，再由 orchestrator 决定是否派遣；比所有 agent 全量参与更省 token，且可跨业务 substrate 复用。
- 每个需求节点显式记录 evidence、attempts、progress，当某条寻证/检索路径 stalled 时，优先做局部 reframe/reroute/fallback，而不是重新规划整个查询；在电商 Agent 场景可减少长流程失败后的整体重试代价。
- 需求驱动的局部搜索规避了超长商品列表/长上下文 prompt 里 lost in the middle 问题；在 push/推荐理由生成或大候选集重排时，可采用类似按需分段检索策略。成本敏感场景还可用小模型做 worker 执行（ANTMAN-H 用 8B worker 保留超过 89% 性能），保留 orchestrator 用大模型。
CoWindow 注意力：全因果覆盖是头集合的集体属性
🧭 LLM 稀疏注意力 · 集体因果覆盖 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
用 KV 头互补长程窗口实现全因果覆盖，训练/解码延迟降 7.4x/3x 且质量接近 FullAttn
📌 工作参考价值（4 点）
- 长上下文 LLM 用于用户行为轨迹、会话日志或 Agent 工具调用历史时，可考虑把 FullAttn 换成 CoWA 式结构：近邻窗口保留最近行为/当前会话，prefix-sink 固定放 user profile 或 system prompt，远处历史按 KV head 切分互补窗口，训练和推理都能省显存省 FLOPs，同时不牺牲关键关联召回。
- 静态位置窗口比动态 router/indexer 更适合线上：不需要额外检索选择，避免了线上 TopK 漂移和 router 延迟；如果业务里做长序列检索式注意力，可以借鉴 position-defined sparsity + collective coverage，把长程访问做成确定性分片，工程实现更稳。
- 多 GPU 部署时按全局 KV head 索引分配窗口，与 tensor parallelism 对齐，每个 rank 只持有互补窗口的 KV cache，可降低长上下文推理显存和 KV cache 访问；适合商品描述生成、Agent 多步轨迹分析等长上下文服务降本。
- 用 synthetic associative recall 快速评估长序列建模是否保留 item 关联，比直接跑长上下文 benchmark 更便宜，适合在推荐系统用户行为序列建模上线前做快速 ablation。
MassAlloc Attention：让注意力自主分配计算
🧭 高效注意力 · 自适应计算分配 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
提出MALA，保留完整QK打分，按归一化注意力贡献度跳过低价值后处理，显著降低长上下文训练/推理计算且保持精度
📌 工作参考价值（4 点）
- 在长用户行为序列建模或长上下文推荐中，可借鉴 MALA 思路：保留完整 QK 打分以捕获任意长程兴趣依赖，但用归一化贡献阈值跳过低贡献 tile 的 V 加载和 PV 累积，从而降低线上推理延迟和离线训练 FLOPs，且精度损失极小。
- 统一阈值 τ/L_q 的设计省去逐层/逐头/逐输入单独标定，适合电商场景中用户序列长度动态变化（从几十到几千）的部署；可根据线上延迟要求全局调整 τ，无需重新训练。
- 反向传播复用前向保存的 finalized normalizer，仅用标准 attention 状态推导嵌套支持，不额外存 mask 或索引，内存开销与 FullAttn 持平，对显存受限的推荐模型训练尤其有吸引力。
- 与 MoBA、DSA 等提前丢弃 QK 的稀疏方法不同，MALA 保留完整 QK 打分，适合需要精确长程关联检索的任务（如跨会话用户兴趣召回、长文档中的商品关联），可作为底层注意力替换方案集成到现有长上下文 LLM 推荐或 Agent 系统中。
MoSAR：语义注意力机制混合，学习自适应可近似注意力几何
🧭 LLM 高效注意力 · 自适应几何 ★ 深度解读
Università degli Studi di Bari Aldo Moro
在 RoPE 后通过 query/key 路由器混合短中全局 regime，学习可离散化的距离衰减注意力几何，500M 预训练外推最优
📌 工作参考价值（4 点）
- 在电商搜索/推荐的长用户行为序列建模中，可借鉴「可学习距离衰减 + 轻量路由器」替代固定窗口或硬截断：用 query/key 双侧路由选择短/中/全局 regime，让不同 token/item 自适应选择交互范围，既保留长程依赖又降低注意力成本。
- 推理时采用 top-1 离散化先把 attention support 确定，再计算稀疏 QK。论文显示 support density 随上下文长度下降（0.154→0.104），说明在商品描述、会话历史等长序列场景中，这种路由可带来亚二次的注意力开销，适合在线扩容。
- 若需要显式压成本，可参考 MoSAR-Cost：在 LM loss 上加入归一化期望 reach 正则，以很小的困惑度代价换取更低的预期注意力范围；在推荐排序 loss 里也可以加入类似 expected attention cost 项，实现推理成本可控。
- 结论「平滑可控衰减优于硬 mask」可直接用于改进用户长期兴趣序列的 RoPE 截断或滑动窗口设计，避免硬截断带来的语义不连续。
金字塔式稀疏注意力：对数线性复杂度
🧭 长上下文 LLM 稀疏注意力加速 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed
PISA 用金字塔 Top-K 块选择 + LogSumExp 评分，把可训练稀疏注意力的选择复杂度从 O(N^2) 降至 O(N log N)
📌 工作参考价值（4 点）
- 用户行为序列、商品文档、Agent 长记忆等长上下文场景，可以将 block sparse attention 的 Top-K 选择换成 PISA 的层级候选缩小：长序列（>64K）下路由 latency 显著低于普通 BSA，适合海量长行为序列或长文档理解；短序列（<16K）仍用普通 BSA 更划算。
- 工程实现可借鉴两段式 kernel：训练/prefill 阶段先做 intermediate-level 路由，再把同一 leaf key block 的 query 聚成 tile 复用 key IO，Qtile=4 时 64K+ 额外获得约 1.3× 加速；解码阶段用单 kernel 融合所有层级避免多次 launch，缓存 mean pyramid 只更新当前 token 的祖先路径，均摊 O(log N)。
- 块打分用 LogSumExp 而不用均值或均值+方差：LSE 保留更高阶信息，提升 Top-K 块选择质量和检索类/containment 任务准确率；在 GQA 下按 query heads 求和 LSE 做共享块选择可复用，但要注意它和 full attention 的 head-mass 平均排序规则不完全一致。
- 若业务中有 Agent/RAG 长候选集粗筛，可把“池化层级 + 每层 bounded Top-K 扩展”作为两阶段检索范式：先粗粒度过滤，再对少数候选精确打分，避免全量候选打分；训练时梯度只经过选中 attention，离散选择不参与反传，可作为稀疏模块插入现有结构。
腾讯混元 A13B 技术报告：80B 总参、13B 激活的 MoE 高效 LLM
🧭 高效 MoE LLM 与双模式 CoT 训练 ★ 深度解读
Tencent Hunyuan Team
开源 80B/13B 激活 MoE，通过双模式 CoT 与强化学习在推理和 Agent 任务上逼近更大模型且吞吐更高
📌 工作参考价值（4 点）
- 双模式 CoT 可用于生产级 LLM 路由：/no think 适合商品问答、摘要、搜索 query 理解、自动补全等高 QPS 低复杂度场景；/think 适合购物导购规划、广告投放策略、深度搜索等复杂 Agent 任务。可按 query 复杂度、用户延迟预算或任务类型做策略路由，省 token 降延迟。
- Agent 数据构造方法可直接迁移：多角色合成引擎（user/planner/tool/agent/checker）+ 沙箱/MCP/合成工具 + 30 类系统指令 + 20K 格式组合，能低成本生成多样化工具调用数据；再针对高频任务（Excel 处理、深度搜索）做增强，适合电商购物助手、广告 Agent、搜索 Agent 的 SFT 数据 pipeline。
- Agent RL 奖励设计值得复用：格式奖励（特殊标记与顺序正确给 1）+ 正确性奖励（tool/parameter/value 一致性）能稳定训练工具调用；对推荐/广告投放的 API 调用、商品搜索参数解析等可定义可验证奖励，再叠加 sandbox 或执行反馈做 RL。
- MoE 推理部署配置可作为选型参考：80B 总参、13B 激活，配 GQA、Expert Parallel、FusedMoE，支持 vLLM/SGLang/TensorRT-LLM 与 INT8/W8A8/KV Cache FP8，batch 32 约 1982 tokens/s；对实时推荐/Agent 场景，快思考模式 + 量化可显著降低推理成本。
DeepSeek-V4.1-Flash：极限压缩KV缓存的长上下文多模态MoE
🧭 Agent推理优化 · KV缓存压缩 ★ 深度解读
DeepSeek-AI
通过跨层KV复用、FP4量化与SWA有界重放，将每token全局KV缓存降至890字节，实现近恒定decode成本
📌 工作参考价值（4 点）
- KV缓存压缩方案可直接迁移：跨层复用全局KV与Top-K索引（CSA2的Full/Reindex/Reuse三模式）可大幅降低长上下文Agent的内存占用，尤其适合电商多轮对话、工具调用频繁的场景，可将持久化KV缓存缩小至1/8。
- CED架构适合输入重的工作负载：prefill阶段仅激活前一半层（8B参数），对输入token极多的场景（如商品详情+用户行为序列拼接）能显著降低首token延迟，可借鉴其非对称激活设计。
- SWA Bounded Replay的工程取舍：用近似的窗口重放替代精确重建SWA KV，仅需重放最近n_win个token，就能免去持久化SWA缓存，节省SSD和主机内存，适合在线推荐系统中高频短会话的上下文管理。
- FP4量化用于KV缓存而非matmul：对KV cache做训练时量化（QAT）可安全使用FP4精度，仅存储减半而不依赖硬件原生FP4矩阵乘支持，可复用到现有推理引擎，降低HBM压力。
大规模长上下文 RL 后训练中的在线草稿协同训练投机解码系统
🧭 训练系统 · Speculative Decoding
NVIDIA
构建端到端在线协同训练系统，解决长上下文下上下文并行分支注意力与流水线并行特征传输两大障碍，实现最高 122B 模型显著投机解码加速
📌 工作参考价值（3 点）
- RL 策略训练加速：若团队用 RL 微调 LLM-based 推荐或 Agent 策略，rollout 生成常占大头；可借鉴 speculative decoding 并让 draft 模型在线 co-train 以跟上策略漂移，维持 acceptance length 从而获得端到端加速。
- 长上下文分支注意力合并：论文扩展 zigzag ring attention，将 rank-local 分支注意力与 causal 主序列合并，解决 CP 不支持分支注意力的问题，支持 256K tokens 强扩展并显著省显存；对长序列用户行为/会话建模的训练有直接工程参考价值。
- PP 跨 stage 特征解耦传输：TapChannel 用独立通道传输中间 target features，不干扰主流水线 schedule，可用于在主模型与轻量 draft 模型协同训练中高效传递辅助特征，避免改造现有 pipeline。
公司基准：基于时序知识库的大规模问答评测基准
🧭 企业级LLM文档QA评测
Epiq AI Labs · Cornell University
提出企业级文档问答基准CorporateBench，用230k+文档与时序知识库保证跨文档一致性，揭示LLM长上下文性能下降
📌 工作参考价值（4 点）
- 可借鉴用「时序知识库 + 合成企业文档」方案低成本构造大规模、多跳、跨文档一致的评测集，尤其适合电商场景中的商品详情、订单日志、客服会话等长文档数据，规避隐私问题。
- 文档-问题比高达87.6的压力测试，能暴露真实RAG/Agent在大量文档下的检索、路由、工具调用瓶颈；建议在业务评测中加入类似高比例多跳问题，而不仅是单文档Extractive QA。
- 其两个评测维度（信息抽取与知识库查询）可迁移为电商知识库Agent的能力分级：从抽取字段到执行SQL/Cypher查询、时间约束推理，验证模型在长上下文下的稳定性。
- 结论提示落地中不能只依赖单模型超长上下文，需结合索引/分片/检索或路由机制，尤其当语料规模超过10万文档时性能下降明显，应配套ragas式证据追踪和一致性校验。
HyQuant：面向 LLM 注意力的混合精度量化框架
🧭 LLM 长上下文推理 · 混合精度量化 ★ 深度解读
Shanghai Jiao Tong University · Xi’an Jiaotong University · Tencent Penglai Lab · Xiamen University
保留 vertical-line token 与局部窗口全精度、其余 KV 低比特，实现长上下文推理的近无损量化加速
📌 工作参考价值（4 点）
- 长上下文/Agent 场景做 KV cache 量化时，不要全局等精度：按列注意力质量选择 top-5% vertical-line token + 最近 W=128 窗口保留 FP16/BF16，其余 4-bit，可在 LongBench/GSM8K 上接近全精度；该模式可直接迁移到电商导购 Agent 的长期对话历史、RAG 长 prompt 缓存。
- 工程实现上，把 dequantize 融合进 attention kernel 的 online softmax 扫描，避免先材料化全精度 KV；在 H100 上 32K 前缀 decode kernel 相对 FA2 达 3.58×、端到端 1.17×；对广告/搜索的 LLM serving 能降低显存带宽压力，显存不足时也可以跑更大 batch。
- Vertical-line 识别只需累加 attention 概率列和，额外 runtime 约 3-5%；用 tail-query proxy 且每 64 tokens 更新，避免逐 token 全局打分，可作为轻量重要性评估器与稀疏/eviction 策略配合。
- 局限：短上下文收益有限，且未在 coding/agentic 任务评估；接入长提示或 long CoT 前应先在自家任务验证 vertical-line 稳定性。
将科学论文展开为多轮生成轨迹用于继续预训练
🧭 合成写作轨迹 · 继续预训练 ★ 深度解读
ByteDance Seed · Nanjing University · Evolvent AI
把 arXiv 论文展开为“写作请求→全局计划→逐节思考→正文”多轮轨迹，构建 60B token CPT 语料，提升写作与长文阅读
📌 工作参考价值（4 点）
- 真实业务长文本可反向构造“写作过程”数据，不改写内容：电商商品详情页、广告落地页、搜索导购长文、Push 文案等结构清晰的长文本，保留原文为答案/正文，反向生成用户 request + 全局规划 + 每段写作前 deliberation，适合 CPT 或 SFT，能提升文案生成、摘要、长文阅读，同时把事实锚定在原文减少幻觉。
- 结构化文档拆成多轮轨迹，让模型学会规划与分段生成：按 section/block 拆分，在每段正文前插入 pre-writing deliberation，比“整篇+一段思考”更细粒度；对推荐理由生成、商品对比、报告生成等任务，可把商品参数、卖点、用户评论作为不同 section 来构造数据。
- 数据构造不依赖大模型，用 4B/9B 开源模型即可：论文显示 4B 生成器下游效果最好，且更难拟合的 synthetic data 更有训练价值；业务上可以低成本大批量生产 trajectory 数据，不必上最强 API。
- 评估也锚定 held-out 真实文本，并生成 rubric/checklist：可借鉴到业务评测：从近期未用于训练的真实商品/query/文章抽取，让 LLM 反向生成题目 + 评分规则，用代码可检查的 checklist 做格式/事实约束，配合 LLM judge 打分。
TileMix：面向 LLM 推理加速的 Tile 中心混合精度注意力
🧭 LLM 推理 · 混合精度注意力 kernel ★ 深度解读
University of North Texas · Saint Louis University
通过 tile 分组路由 FP16/INT8 注意力计算，在保留 dense 连接的同时加速长上下文 prefill 并恢复质量
📌 工作参考价值（3 点）
- 长上下文 RAG / Agent memory / 多跳检索场景中，prefill 是延迟大头；可借鉴按 attention score tile 分组做混合精度（关键区域 FP16，其余 INT8），而不是整层 uniform INT8，能在质量和吞吐之间拿到更好 trade-off，且无需训练或改模型权重。
- 路由模板可直接复用稀疏注意力的空间先验（local band / global / random / SpTrans / BigBird），但只决定精度路径、不删除 token 交互；业务上可先用静态模板快速验证哪些位置对效果敏感，再考虑升级为自适应或 learnable 路由。
- INT8 KV cache + per-block scale 能降低显存和 decode 成本，同时 V 保持 FP16 做 PV 更新，工程风险较低；如果使用 FlashAttention-style serving，可参考其 shared online-softmax 状态与 bitmask constant-time 查找的集成方式，支持 GQA 和 variable-length batching。
面向 LLM 的高效知识蒸馏：离线 Top-K logit 缓存与融合分块 KL 损失
🧭 训练效率 · 知识蒸馏 · 长上下文 ★ 深度解读
Multiverse Computing
通过缓存教师 Top-K logits 和融合分块 KL 损失，实现单 GPU 上长上下文蒸馏训练，匹配在线质量且内存线性增长。
📌 工作参考价值（4 点）
- 离线蒸馏策略：预教师 Top-K logit 一次缓存后重复用于多轮消融实验，大幅降低资源占用，适合需频繁蒸馏的推荐模型迭代。
- 长上下文训练解锁：融合分块 KL 损失让峰值内存与序列长度成线性关系，可在单卡 H200 上训练 32K 上下文，用于处理电商搜索中长用户行为序列的场景。
- 损失设计经验：logit KL 损失是知识迁移的必需品，追加隐藏状态特征损失（MSE 或余弦）可稳定提升约 1% MMLU。
- 打包训练简化：蒸馏时用朴素的全 1 注意力掩码做序列打包，仅牺牲约 1 个 MMLU 点，工程实现简单且效率高。
Kimi K3：开源前沿智能体——2.8T参数MoE模型与强化学习实践
🧭 大规模 MoE 模型前沿训练与强化学习 ★ 深度解读
Moonshot AI
开源2.8T参数MoE模型，融合KDA、AttnRes和Stable LatentMoE架构，通过多领域多推理努力强化学习达到封闭前沿水平
📌 工作参考价值（4 点）
- 强化学习训练范式：部分回滚（partial rollout）方案允许长周期任务跨迭代训练，对搜索 / 推荐系统中基于用户长期反馈的强化学习优化具有直接借鉴意义。
- 多教师在线蒸馏（MOPD）：将多个领域、不同推理努力水平的专家策略融合为单一模型的技术，可应用于合并不同排序目标的推荐模型（如点击率、转化率、多样性等）。
- 推理部署优化：全后训练阶段集成的量化感知训练（QAT）及 EAGLE-3 投机解码微调，可降低大模型推荐 / 搜索推理成本，对线上部署有实际工程价值。
- 长上下文架构设计：KDA 与 Attention Residuals 的混合注意力可高效处理超长序列，可迁移至用户行为序列建模，支持更长行为记忆和更精准的长期兴趣提取。
反周期位置编码：莫比乌斯边界条件实现可靠的上下文检索
🧭 反周期位置编码 · 训练稳定性
JRTI, Seoul
提出反周期频率阶梯的 Möbius RoPE，以零困惑度代价消除检索种子彩票，使准确率从 63% 升至 90%
📌 工作参考价值（4 点）
- 在 LLM 推荐或 Agent 中，直接将部分注意力头的 RoPE 频率改为反周期阶梯（奇数倍 π/N），可零成本提升长用户行为序列中关键项的检索稳定性，避免因随机种子导致的性能大幅波动
- 混合编码（25% 注意力头使用 Möbius 频率）使困惑度无损失，可作为工程插件在不重新预训练的情况下提升模型对长对话或搜索历史的可靠回忆能力
- 该编码在训练窗口内的单针检索任务上效果显著，适用于电商场景中从用户长时段历史里精准抽取特定事件（如某次购买、点击）的需求
- 反周期边界条件建立了序列两端的确定性耦合，可能有助于位置敏感的注意力机制，可用于改进现有推荐模型中的位置嵌入设计
Solar Open 2：250B-A15B MoE长上下文Agent模型
🧭 大规模长上下文Agent模型训练
Upstage
通过混合注意力与多专家蒸馏，以1/6参数量达到1.6T模型韩文办公Agent水平
📌 工作参考价值（4 点）
- 混合注意力降显存：每三个线性注意力层插一个softmax层、取消位置编码来实现1M token上下文窗口，在长轨迹Agent或对话系统中可大幅降低KV缓存开销，适合电商客服、端到端推荐流等需要处理超长历史序列的场景。
- 多教师在线策略蒸馏（MOPD）：先训练12个垂直域专家，再用在线蒸馏合并为单一模型，可复用于电商搜索推荐中的多任务学习（例如同时蒸馏意图识别、商品理解、对话规划等专家），避免维护多个专用模型。
- 数据价值策展：质量与稀有度感知的筛选、混合比例优化使10T数据优于原20T数据，在同等算力下提升效率。可借鉴到构建领域特定预训练语料（如电商搜索日志、商品描述），用更少token达到更好任务性能。
- 参数骨架迁移预训练：从上一代模型继承共享参数骨架（5.69B），其余从头预训练，既保留了原有知识又适配新架构。在推荐模型升级（如从稠密模型转MoE）时可大幅节省再训练成本，快速获得强初始点。
通过关联递归记忆扩展大语言模型上下文
🧭 递归记忆增强的 LLM 长上下文扩展
MBZUAI · Lomonosov Moscow State University · Weizmann Institute of Science · Institute for Advanced Study, Princeton · London Institute for Mathematical Sciences
提出 ARMT 训练方案，在长文本任务中用 30% 更少计算量保持性能并泛化到更长序列
📌 工作参考价值（4 点）
- 长序列用户行为建模：在电商推荐中，可利用 ARMT 以恒定内存处理超长用户交互序列（如跨月行为），突破原生 Transformer 的上下文限制，且 FLOPs 降低 30%，适合线上 RT 服务。
- 合成数据与课程学习策略：面向特定领域的 LLM 微调（如商品长描述生成、多文档促销文案），可借鉴其合成长文本 + 逐步延长的课程学习方案，稳定提升长上下文泛化。
- 选择性记忆集成：在推荐精排或生成式推荐模型中，仅部分中间层插入关联记忆模块，平衡额外计算开销与长程依赖捕捉，可作为模型架构渐进增强的思路。
- 分布外长度泛化：训练时使用有限长度数据，推理时自动泛化到更长序列，对广告竞价中实时拼接的多源长特征流处理有参考意义。
Jet-Long: 动态双焦 RoPE 的高效长上下文扩展
🧭 零样本长上下文扩展 · 动态 RoPE 分组 ★ 深度解读
NVIDIA
一种无需微调的零样本长上下文扩展方法，通过动态调整远程窗口分组因子保持位置在分布内，并利用容斥注意力合并实现几乎无开销的推理
📌 工作参考价值（4 点）
- 零样本扩展部署：可将任意开放权重 RoPE LLM 的上下文窗口无损扩展 4 倍以上（如 32K→128K），无需长上下文微调，适合快速上线长上下文应用（RAG、Agent 轨迹、长文档理解）。
- 双窗口架构：本地窗口（w0=2048）完全保留原始 RoPE，远程窗口动态调整分组大小 G=max(1, ceil(L/w_pretrained))，在短输入时退化为基模型，长输入时最小化位置压缩，避免短上下文性能退化。
- 工程实现借鉴：通过“校正旋转”在 query/key 上施加位置偏移 Δ，实现远程窗口注意力，保持 KV 缓存不变；预填充阶段用三次 FlashAttention 的容斥合并（inclusion–exclusion merge）融合为单个 CuTe 内核，达到 1.28–1.39× FA2 吞吐，生成开销 ≤4%，可直接集成到线上推理服务。
- 超参数鲁棒：唯一超参数 w0 在 512~4096 间几乎无波动（RULER 波动 <2pp），无需按部署场景调参，降低维护成本。
分层稀疏注意力HiLS：端到端分块选择实现无限上下文建模
🧭 分层稀疏注意力 · 超长上下文外推与高效推理
Tencent HY Team · ShanghaiTech University · The Hong Kong University of Science and Technology · University of California, San Diego
提出HiLS Attention，端到端学习分块选择的分层稀疏注意力，推理加速且外推超64倍训练长度
📌 工作参考价值（4 点）
- 在电商推荐的长用户行为序列建模中，可借鉴HiLS的分块检索与端到端选择机制，自动关注关键历史块，突破全注意力计算瓶颈，同时保持预测性能。
- 对于RAG或Agent长上下文场景，分层地标（landmark）压缩文档/对话历史，实现高效检索式注意力计算，既能大幅降低KV缓存，又能外推到极长序列，适合在线长对话或长文档问答。
- HiLS提供全注意力模型的轻量级继续预训练转换方案，已有模型（如推荐系统、对话模型）只需少量训练即可获得超长上下文能力和推理加速，便于业务快速升级。
- 推理时只缓存被选中的分块KV，降低解码内存和延迟（预填充加速9.3x，解码加速15.7x），适合在线服务对长序列实时响应的要求。
用于免训练滑动窗口适配的NLL引导全注意力层选择
🧭 长上下文推理效率优化
Analemma
提出用答案标记的负对数似然下降来指导层选择，仅1/4全注意力层即接近1/2的精度
📌 工作参考价值（4 点）
- 对于需要长上下文的电商对话Agent或多文档RAG，可部署混合注意力模型，用该方法离线校准选择保留全注意力的层，显著降低推理延迟和KV cache开销
- 校准只需在目标数据集上计算每层用滑动窗口后的NLL下降，耗时约15分钟，无需训练，可快速适配新模型或新任务
- 该方法不依赖特定模型架构，可广泛应用于各种Hybrid Attention模型，灵活调整计算预算
- 在Agent设计中，若需要平衡长期记忆与推理效率，该层选择策略可作为推理成本的精细控制手段
HydraHead：基于头功能异质性的头维度混合注意力架构
🧭 多头注意力混合 · 长上下文高效推理 ★ 深度解读
Alibaba Group
利用可解释性识别检索关键头，在头维度混合全注意力和线性注意力，以极低训练成本突破长上下文瓶颈
📌 工作参考价值（4 点）
- 头维度混合可作为推荐系统长序列建模的新策略：在用户长行为序列中，可借鉴 HydraHead 思路，对部分注意力头保留精确交互（类似 FA），其余头用线性注意力压缩历史，平衡精度与效率。
- 可解释性驱动的头部选择可直接用于模型压缩：通过因果修补量化头的重要性，仅保留关键头为全精度，其余替换为低开销模块，能大幅降低长序列推理的 KV cache 和计算量，适合在线服务。
- 尺度归一化融合缓解不同注意力特征分布差异：当系统中需要拼合多种注意力输出时（如多模态、多专家），可采用 RMSNorm + 可学习缩放向量的方案，避免直接 concat 带来的优化不稳定，对特征融合模块设计有直接复用价值。
- 三阶段迁移学习路线适于将现网大模型快速改装为混合架构：参数继承 + 层对齐 + 全局蒸馏 + 长文微调的流程可在几十亿 token 内完成，对已有业务模型低成本扩展上下文窗口有参考意义。
MiniMax稀疏注意力（MSA）
🧭 超长上下文LLM推理 · 分块稀疏注意力
MiniMax · Peking University · NVIDIA · Zhejiang University · Huazhong University of Science and Technology
提出MiniMax稀疏注意力，通过分组索引分支动态选择关键块，将1M上下文计算量降低28.4倍并实现14.2倍预填充加速
📌 工作参考价值（4 点）
- 长上下文LLM服务降本：对于需要处理超长对话历史或文档的多轮Agent、客服系统，MSA的分组稀疏选择机制可直接集成到GQA模型中，用轻量索引分支动态裁剪KV块，大幅降低每token注意力成本，适合高并发在线服务。
- 分组独立Top-k选择：每个GQA group独立选择重要块，比统一选择更灵活，在推荐系统中的用户行为序列建模（如长序列Transformer）可借鉴，按不同head关注点实现差异化稀疏检索。
- 推理kernel协同设计：论文的exp-free Top-k和KV-outer稀疏注意力kernel利用块级访存模式提升张量核心利用率，可直接用于自研推理引擎，尤其在批量解码时实现高吞吐。
- 训练稳定性的KL蒸馏：索引分支通过KL loss对齐主分支注意力分布且梯度解耦，这种学习稀疏选择的方法可迁移到其他需端到端学习稀疏检索的场景（如召回中的粗筛网络）。
FlashMemory：基于前瞻稀疏注意力的超长上下文KV缓存压缩
🧭 LLM 推理优化 · 稀疏注意力
Tencent · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Independent Researchers
提出前瞻稀疏注意力与神经记忆索引器，将KV缓存压缩至13.5%且准确率无损
📌 工作参考价值（4 点）
- 借鉴“前瞻记忆索引”思想，在需要维护长历史对话或用户行为的电商推荐Agent中，可训练轻量级索引器预测未来需要的记忆片段，而非保存全量状态，大幅降低内存开销。
- 解耦训练策略值得工程化：索引器作为双编码器，用标准检索训练框架单独训练，无需加载主模型，可快速迭代，特别适合将记忆管理模块插入已有生产模型。
- 稀疏注意力去噪效应提示：在长序列推荐建模（如用户长期行为序列）中，只保留与当前查询相关的关键交互，可能去除无关噪声，提升模型精度。
- 对于超长上下文场景（如多轮Agent对话、长文档分析），KV缓存压缩率超90%且稳定性保持，可直接指导自研LLM推理引擎的显存优化。
Mellum 2：面向高效代码助手的12B MoE模型训练与架构
🧭 代码生成与推理LLM · MoE架构与训练 ★ 深度解读
JetBrains · Constructor University, Bremen, Germany
开源12B/2.5B活跃MoE代码模型，通过架构与训练设计在2.5B算力下达成7B级性能
📌 工作参考价值（4 点）
- MoE部署经济学：通过64选8专家架构，总参数量12B但单token仅2.5B，推理成本可比拟7B密集模型。若在推荐系统中使用MoE，可参考其GQA+SWA+MTP的组合设计，压缩KV cache并利用推测解码加速。
- 三阶段课程学习：预训练数据从通用网页逐步切换到高质量代码/数学（代码比例23%→42%→59%），在lr decay阶段集中最干净的数据。推荐模型训练中也可借鉴：初期用大规模行为数据，后期用精选交互序列，并在lr衰减期引入高标准标注数据。
- 长上下文扩展的层选择性YaRN：仅对全局注意力层应用频率重映射，滑动窗口层保持原样，节省计算且有效保持长短文本性能。对于需要长序列建模的推荐场景（如用户长期行为），可尝试类似分层扩展策略，避免全量RoPE调整。
- RLVR避免奖励模型噪声：用可验证奖励直接优化策略，省去奖励模型训练。在推荐中，若存在确定性的正负反馈（如购买、跳过），可构造程序化的reward函数，减少RLHF的工程成本和不确定度。
Gated DeltaNet-2: 线性注意力中擦除与写入的解耦
🧭 线性注意力 · 记忆更新解耦
NVIDIA
将 Delta 规则的记忆更新拆分为通道级擦除门与写入门，突破原有标量门控的耦合限制，显著提升长上下文检索性能。
📌 工作参考价值（4 点）
- 超长用户序列建模：电商中用户行为序列可达数万步，Gated DeltaNet-2 的线性时间复杂度和常量级解码内存可直接用于高效序列编码，其通道级擦除/写入解耦能更精细地更新兴趣记忆，避免旧兴趣过早丢失或新兴趣写入不足。
- 记忆网络的特征交互：可将该方法的核心思想——解耦“遗忘”与“记忆”的强度控制——迁移到特征交互的记忆模块，例如在 Deep Interest Network 中，用独立的通道门控来更新交叉特征的记忆，提升对用户长期偏好的捕获。
- 并行化训练的工程借鉴：论文推导的 chunkwise WY 算法和门控感知反向传播可直接用于大规模推荐模型的序列训练，在不牺牲模型表达能力的前提下大幅提高训练吞吐，适合线上内容快速迭代。
- Agent 工作记忆的维护：在多智能体系统中，该技术可用于维护上下文压缩后的记忆状态，通过解耦擦除和写入，实现对对话历史、环境状态的精准增量编辑，增强 Agent 在长对话或复杂任务中的上下文跟踪能力。
GoLongRL：基于能力导向的长上下文强化学习与多任务对齐
🧭 长上下文RLVR多任务对齐训练
Kuaishou Technology · University of Chinese Academy of Sciences
提出能力导向的长上下文RLVR数据集和TMN-Reweight多任务优化，使30B模型长上下文性能比肩大模型
📌 工作参考价值（4 点）
- 能力导向的数据构建：按细粒度长文本能力（如推理、检索、多跳聚合）设计多类型任务和自然评估指标，可直接用于电商搜索或Agent长上下文数据构造，提升生成式推荐对长会话、产品文档的理解。
- TMN-Reweight多任务训练技巧：通过任务级均值归一化消除异构奖励尺度差异，再按难度自适应加权，可复用到多目标RL场景（如同时优化CTR、转化率、停留时长），避免某一目标主导优化。
- 开源数据与代码：23K长上下文RLVR样本及完整训练流程已开源，可直接作为基础数据集或框架，加速业务中基于GRPO的RLVR训练，节省数据设计成本。
- GRPO训练配置：验证了在长上下文RLVR中，更大的任务多样性和奖励差异性能显著提升效果；业务中若需RL训练，应避免单一任务结构，追求覆盖多种真实场景的能力类型。
PEEK：面向长上下文LLM Agent的上下文地图缓存
🧭 Agent长上下文交互的上下文知识缓存与更新 ★ 深度解读
MIT CSAIL · Stanford University
将可复用定向知识缓存为固定大小的上下文地图，显著提升Agent在重复长上下文任务上的准确率和效率。
📌 工作参考价值（4 点）
- 在电商场景（如反复查询商品库、用户评论语料）中，可以维护一个轻量级上下文地图，存储语料结构、关键实体、常用常量等可复用知识，避免每次推理都从零探索。
- Distiller从Agent执行轨迹中自动提取可迁移的上下文知识，而不引入任务特定噪声，这一思路可借鉴为Agent经验回放与知识累积模块。
- Cartographer与Evictor的分离设计（结构化编辑+优先级驱逐）确保缓存紧凑且更新不产生重复/冲突，适合需要固定token预算的生产环境。
- 即使只需极少轮次（m≤4）的缓存更新就能带来显著收益，这对成本敏感的在线推理系统极具参考价值。
全注意力反击：百步训练内将全注意力转化为稀疏注意力
🧭 长上下文推理 · 注意力稀疏化
Nanjing University · Alibaba Group
发现全注意力LLM存在内在稀疏性，通过轻量索引和动态选择仅需数百步训练即可达到近乎无损的稀疏推理
📌 工作参考价值（4 点）
- 动态 top-p 筛选: 对电商搜索/推荐中的长序列用户行为编码，借鉴 query-dependent 的动态 token 预算，代替固定 top-k，可保留关键信息同时降低计算开销。
- 检索头识别与保留: 在 Agent 长对话记忆或商品详细页理解中，仅保留少数注意力头进行全长度上下文检索，其余头使用稀疏模式，可大幅压缩 KV 缓存。
- 低维索引器设计: 用 16 维索引矩阵替代完整注意力分数计算，适合实时性要求高的生成式检索或召回阶段，可在预填充阶段大幅提速。
- 少步迁移训练: 利用已有的全注意力模型，仅需数百步微调即可迁移到稀疏推理，无需从头预训练稀疏模型，节省训练资源且保持精度，适合业务快速迭代。
灯塔注意力：长上下文预训练的高效对称分层注意力方法
🧭 Training ★ 深度解读
Nous Research
对称池化Q/K/V并解耦选择的层次化注意力，训练长上下文时大幅加速且可无损恢复为密集模型